feat(backend): generer stort og variert datasett med ekte verktøymodeller #40
+2,719
−15
Conversation
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Henter 95 verktøytyper og 23 merker som selges i norske butikker fra Wikidata (CC0) og lagrer dem som JSON, slik at seeding ikke avhenger av at Wikidata er tilgjengelig. Verktøytypene velges med faste Wikidata-ID-er fordi kategoritrærne i Wikidata er for støyete til automatisk filtrering. Refs #39
Nesten alle beskrivelsene var på engelsk og beskrev verktøytypen generelt. Annonsene får egne norske beskrivelser når datasettet genereres. Refs #39
Ny migrasjon legger til created_at i listings. Eksisterende rader får tidspunktet migrasjonen kjøres, og seed-skriptet kan sette egne datoer for genererte annonser. Refs #39
Genererer annonser fra ekte verktøytyper og merker med fast frø, skjev fordeling mellom kategorier og områder, 20 % gratis utlån, runde priser, varierte titler og beskrivelser og opprettelsesdatoer spredt over et år. Tekster og merker velges per verktøygruppe, slik at de passer til verktøyet. Refs #39
npm run seed:large setter inn 10 000 genererte annonser i bolker i én transaksjon. Antall kan settes med --count, og --replace erstatter tidligere genererte annonser. Skriptet er idempotent og rører ikke de vanlige seed-annonsene. Refs #39
Beskriver datakilden (Wikidata, CC0), hvordan det store datasettet genereres og kjøres, fordelingene og målte tider for seeding og spørringer ved 10 000 og 50 000 annonser. Refs #39
Seed-verdi er det vanlige ordet for startverdien til tilfeldighetsgeneratoren. Retter også formateringen av KI-loggen. Refs #39
tordtst
approved these changes
Oct 14, 2026
Sign in
to join this conversation on GitHub.
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Endringer
npm run import:toolshenter 95 verktøytyper og 23 merker fra Wikidata (CC0) og lagrer dem som JSON. Verktøytypene velges med faste ID-er, fordi kategoriene i Wikidata ga mye støy.created_atilistings.generateListingslager varierte annonser med fast seed-verdi: skjev fordeling, 20 % gratis, mange like priser, varierte titler og norske beskrivelser, og datoer over et år.npm run seed:largesetter inn 10 000 annonser (eller--count N) i én transaksjon. Skriptet rører ikkelisting-001–010.docs/datasett.mdmed kilde og fordelinger README,docs/vm-backend.mdogdocs/ki-bruk.mder oppdatert.Hvorfor
10 annonser var for lite til å vise at søk, filtrering, sortering og paginering skalerer, som både oppgaveteksten og medstudentvurderingen påpekte.
Testing
typecheck,lintogformat:checkup/downmot lokal databaseseed:largegir 10 000 nye, og 0 ved ny kjøring (0,3 s for 10 000, 1,2 s for 50 000)Etter merge
På VM-en, i
~/T36-Project-2/backend:git pull,npm ci,npm run migrateognpm run seed:large.Issue
Closes #39